הרצאה 2 - הנוירון הלינארי

נוירון לינארי

מדובר בנוירון אשר יודע לחשב סכום משוקלל של קלטים, כאשר:
- קלט (x): נתון מסוים המתקבל בנוירון, כלל הקלטים מיוצגים בוקטור
- משקל (w): החשיבות שיש לקלט מסוים, אינדקס המשקל תואם לאינדקס הקלט, כלל המשקלים מיוצגים בווקטור
- סכום משוקלל (y): תוצאה המתקבלת על ידי סכימת כפל כל קלט במשקל שלו.

דוגמא לנוירון בעל 2 קלטים ו-2 משקלים:
$y = W_{1} X_{1} + W_{2} X_{2}$

פונקציית שגיאה

השגיאה היא ההפרש בריבוע בין הפלט הרצוי ( $y_{0}$ ) למצוי (y)
השגיאה תהיה = 0 כאשר אין הבדל בין הפלט הרצוי והמצוי
ההפרש (הסטייה) מועלת בריבוע כדי להעניש הפרשים גדולים יותר מאשר הפרשים קטנים, וכדי ליצור טווח חיובי
פונקציית השגיאה בנוירון הלינארי היא השגיאה הריבועית הממוצעת על כל הדוגמאות
המטרה היא למצוא את ערכי המשקלים אשר נותנים שגיאה מינימלית

נוסחאת השגיאה:

$ε = \frac{1}{2} \cdot \frac{1}{N} \sum_{k = 1}^{N} (y - y_{0})^{2}$

פתרון אנליטי לאימון הנוירון הלינארי

בגלל שפונקציית השגיאה קמורה, אפשר למצוא את המינימום הגלובלי על ידי הפתרון הבא:

\begin{matrix} C = X^{T} X \\ \vec{u} = X^{T} {\vec{y}}_{0} \\ \vec{W} = C^{- 1} \vec{u} \end{matrix}

* נזכור כי: $C^{- 1} = \frac{1}{a d - b c} \cdot (\begin{matrix} d & - b \\ - c & a \end{matrix})$

מתי קיים פתרון יחיד לבעיית הרגרסיה הלינארית:
* תמיד קיים פתרון
* הפתרון יהיה יחיד אם ורק אם המטריה C הפיכה ( P x P)
* אם כמות הפרמטרים (P, עמודות) גדול מכמות הדוגמאות (N, שורות) הפתרון לא יהיה יחיד
* אם כמות הפרמטרים קטנה או שווה לכמות הדוגמאות, וגם העמודות של X תלויות לינארית, הפתרון לא יהיה יחיד.

פרמטר הטייה

פרמטר הטייה מתנהג כקלט של מספר קבוע שהוספנו כדי לשפר את החישוב של הסכום המשוקלל
כדי לשערך את פרמטר ההטייה, נוסיף עמודה של אחדים למטריצת הקלטים

דוגמא לאימון נוירון לינארי עם פרמטר הטייה:

\begin{aligned} {\vec{x}}_{1} & = (\begin{array}{c} 700 \\ 100 \end{array}), y_{0}^{1} \approx 90 & X = [\begin{array}{c} 1 & 700 & 100 \\ 1 & 680 & 95 \\ 1 & 740 & 88 \\ 1 & 640 & 80 \end{array}] \\ {\vec{x}}_{2} & = (\begin{array}{c} 680 \\ 95 \end{array}), y_{0}^{2} \approx 87 \\ {\vec{x}}_{3} & = (\begin{array}{c} 740 \\ 88 \end{array}), y_{0}^{3} \approx 96 & {\vec{y}}_{0} = (\begin{array}{c} 90 \\ 87 \\ 96 \\ 70 \end{array}) \\ {\vec{x}}_{4} & = (\begin{array}{c} 640 \\ 80 \end{array}), y_{0}^{4} \approx 70 \end{aligned}

\begin{aligned} C & = X^{T} X = [\begin{array}{c} 1 & 1 & 1 & 1 \\ 700 & 680 & 740 & 640 \\ 100 & 95 & 88 & 80 \end{array}] [\begin{array}{c} 1 & 700 & 100 \\ 1 & 680 & 95 \\ 1 & 740 & 88 \\ 1 & 640 & 80 \end{array}] = [\begin{array}{c} 4 & 2760 & 363 \\ 2760 & 1, 909, 600 & 250, 920 \\ 363 & 250, 920 & 33, 169 \end{array}] \end{aligned}

\begin{aligned} \vec{u} & = X^{T} {\vec{y}}_{0} = [\begin{array}{c} 1 & 1 & 1 & 1 \\ 700 & 680 & 740 & 640 \\ 100 & 95 & 88 & 80 \end{array}] (\begin{array}{c} 90 \\ 87 \\ 96 \\ 70 \end{array}) = (\begin{array}{c} 343 \\ 238, 000 \\ 31, 313 \end{array}) \\ \vec{w} & = C^{- 1} \vec{u} \approx (\begin{array}{c} - 102.4 \\ 0.22 \\ 0.37 \end{array}) ⟶ y = 0.22 x_{1} + 0.38 x_{2} - 102.4 \end{aligned}

הכללה

יכלת ההלכה של נוירון היא היכולת של נוירון להתמודד עם דוגמאות חדשות בהינתן המשקלים שמצאנו
ככל שיהיו לנו יותר דוגמאות אימון, צפוי כי ההכללה תהיה טובה יותר
כאשר יש מעט מדי דוגמאות הנוירון לא יוכל להכליל
לכן לרוב נעדיף (N >> P) כדי לקבל פתרון עם ביצועי הכללה טובים.

סוגי שגיאות

שגיאת אימון: ממוצע השגיע על סט הדוגמאות שהוצגו לרשת.
שגיאת המבחן: ממוצא השגיאה על סט דוגמאות שלא נכללו בסט האימון (אלא בסט המבחן)
שגיאת הכללה: תוחלת השגיאה על כל הדוגמאות מהתפלגות מסוימת
ככלל, שגיאת ההכללה עבור סט המשקלים שהתקבלו מהאימון תקטן ככול שהיחס בין מספר דוגמאות האימון לבין מספר הפרמטרים גדל, עד שתשאף בקירוב לשגיאת הכללה אידיאלית. כך עבור שגיאת האימון שעולה (במקום לרדת) עד שתשאף בקירוב לשגיאת הכללה אידיאלית
נוסחאות:

\begin{aligned} ε_{t r a i n} (\vec{w}) & = \frac{1}{N_{t r a i n}} \sum_{x \in D_{t r a i n}} ε (\vec{w}, x) \\ ε_{t e s t} (\vec{w}) & = \frac{1}{N_{t e s t}} \sum_{x \in D_{t e s t}} ε (\vec{w}, x) \\ ε_{g e n} (\vec{w}) & = E_{X} (ε (\vec{w}, x)) = \int ε (\vec{w}, x) f (x) d x \end{aligned}